Cũng vào năm ông kết hôn, ở tuổi 32, Bismarck, đại diện cho tỉnh Sachsen, được chọn vào cơ quan lập pháp mới được thành lập của nước Phổ là Vereinigter Landtag (Quốc hội thống nhất). Ở đó, ông bắt đầu nổi tiếng như một nhà hùng biện sắc sảo. Bismarck công khai ủng hộ ý tưởng vua nước Phổ có quyền trực tiếp đối với các vương quốc phụ thuộc. Việc Bismarck được bầu vào cơ quan lập pháp là nhờ sự sắp xếp của anh em nhà Gerlach, những người cũng theo đạo Tin Lành và có khuynh hướng bảo thủ cực đoan. Họ có xuất bản một tờ báo với hình chữ thập sắt trên bìa.

Vào năm 1840, vua Friedrich Wilhelm IV lên ngôi tại Phổ.[14] Tháng 3 năm 1848, Cách mạng Đức 1848 nổ ra và đe dọa triều đình vua Friedrich Wilhelm IV. Triều đình Phổ, dù lúc đầu có ý định sử dụng các lực lượng vũ trang để đàn áp cuộc nổi dậy, cuối cùng đã quyết định bỏ Berlin để tới tổng hành dinh của quân đội tại Potsdam vì lý do an toàn. Sau này, Bismarck viết rằng "những thanh gươm rung lên trong vỏ" khi các sĩ quan quân đội Phổ được biết nhà vua sẽ không trấn áp cuộc cách mạng bằng vũ lực. Bismarck đã đề nghị rất nhiều nhân nhượng với những người khởi nghĩa: ông khoác lên người lá cờ đen-đỏ-vàng của lực lượng nổi dậy (quốc kỳ Đức ngày nay), hứa sẽ ban hành một hiến pháp, đồng ý rằng nước Phổ và các bang của nước Đức phải được thống nhất thành một quốc gia, và chỉ định một người theo đường lối tự do, Ludolf Cam, làm thủ tướng.

Nhưng đó chỉ là những thỏa thuận hình thức. Otto von Bismarck trước tiên cố gắng tổ chức những nông dân làm tá điền cho gia đình ông thành một lực lượng vũ trang tiến tới kinh đô Berlin trên danh nghĩa nhà vua. Ông cải trang tới Berlin để thực hiện ý định này, nhưng sau đó lại nhận được lệnh rằng ông sẽ có ích hơn cho nhà vua nếu như chuẩn bị lương thực cho quân đội từ các điền trang của ông trong trường hợp cần thiết. Em trai nhà vua, hoàng tử Wihelm (sau này là vua Wilhelm I) đã chạy sang Anh. Bismarck âm mưu với vợ của William là Augusta đưa cậu con trai mới mười mấy tuổi của Wilhelm (sau này là vua Friedrich III) lên ngai vàng nước Phổ thay cho Friedrich Wilhelm IV. Năm đó, Bismarck không được bầu vào nghị viện. Nhưng ưu thế của những người nổi dậy bắt đầu suy giảm từ cuối năm 1848 vì những chia rẽ nội bộ, trong khi phái bảo thủ tập hợp nhau lại đoàn kết xung quanh nhà vua và giành lại quyền kiểm soát kinh đô Berlin. Mặc dù cuối cùng một hiến pháp cũng được ban bố, nhưng các điều khoản trong đó còn lâu mới giống như yêu cầu của những người cách mạng.

Năm 1849, Bismarck lại được bầu vào Landtag, hạ viện trong lưỡng viện mới của nước Phổ. Trong giai đoạn này, Bismarck phản đối việc thống nhất nước Đức do ông nghĩ rằng Phổ sẽ mất quyền độc lập. Ông chấp nhận cương vị đại diện cho Phổ ở Nghị viện Erfurt, một nghị viện được lập ra bởi các bang thuộc nước Đức để thảo luận về kế hoạch thống nhất, nhưng chỉ là để phản đối những đề nghị của tổ chức đó một cách hữu hiệu hơn. Nghị viện Erfurt đã không thể mang tới thống nhất, do thiếu sự ủng hộ từ hai thực thể chính trị quan trọng nhất của Đức, Phổ và đế quốc Áo. Năm 1850, trong một cuộc xung đột liên quan tới vùng Hesse, Phổ bị Áo (được Nga hoàng ủng hộ) qua mặt trong Hiệp định Olmutz thừa nhận sự tự trị của các bang thuộc Đức. Một kế hoạch thống nhất nước Đức dưới sự lãnh đạo của Phổ, theo đề nghị của Thủ tướng Phổ là Radowitz, cũng bị hủy bỏ.

Năm 1851, Friedrich Wilhelm IV chỉ định Bismarck tham gia phái đoàn Phổ tham dự Hội nghị Liên bang Đức[15] tại Frankfurt. Do đó, Bismarck từ bỏ chiếc ghế của ông ở Landtag, nhưng vài năm sau được chỉ định vào Thượng viện Phổ. Tám năm ở Frankfurt đã đánh dấu những thay đổi trong quan điểm chính trị của Bismarck, thể hiện qua những bản ghi nhớ dài mà ông gửi cho cấp trên của mình ở Berlin. Không còn chịu ảnh hưởng của những người bạn Phổ bảo thủ cực đoan, Bismarck trở nên thực tế hơn và không còn phản động như trước. Ông bắt đầu tin rằng để trở thành đối trọng với nước Áo mới hồi phục ảnh hưởng, Phổ cần liên minh với các bang khác của nước Đức và như thế, khái niệm về một nước Đức thống nhất đã dễ chấp nhận hơn với ông. Bismarck cũng cho rằng Phổ cần duy trì quan hệ hữu hảo với Nga và hoàng đế Napoléon III ở Pháp. Napoléon III vốn bị những bạn bè của Bismarck, bao gồm cả anh em nhà Gerlach, ghét cay ghét đắng. Nhưng mối quan hệ tốt với nước Pháp sẽ là cần thiết cho Phổ để đe dọa Áo cũng như ngăn không cho Pháp liên minh với Nga. Trong một lá thư nổi tiếng gửi cho Lepold von Gerlach, Bismarck viết rằng sẽ là ngu xuẩn nếu chơi cờ vua mà lại loại 16 trong số 64 ô cờ ra khỏi bàn cờ từ trước.

Otto von Bismarck cũng cảm thấy tình trạng bị cô lập của nước Phổ trong cuộc chiến tranh Krym vào giữa những năm 1850 là rất đáng lo ngại (trong cuộc chiến đó, Áo liên minh với các đế quốc Anh, Ottoman và Pháp chống lại Nga. Phổ không được mời tới tham dự các buổi hòa đàm ở Paris). Trong cuộc khủng hoảng phương Đông vào thập kỷ 1870, nỗi lo sợ lặp lại tình trạng tương tự đã khiến Bismarck thúc giục ký một hiệp ước liên minh với đế quốc Áo-Hung vào năm 1879. Cũng trong những năm 1850, liên minh Nga - Áo không còn mặn nồng như trước. Đế quốc Nga đã giúp Áo dập tắt cuộc cách mạng ở Hungary vào năm 1849, nhưng Áo lại không có ý ủng hộ Nga. Tại Olmutz năm 1850, Felix Schwarzenberg, nhà lãnh đạo Áo, tuyên bố: "Nước Áo sẽ làm cả thế giới kinh ngạc vì sự bội bạc của mình". Bismarck đã tiên đoán chính xác rằng kể từ đó, Áo không còn có thể dựa vào sự ủng hộ của Nga ở Ý và Đức nữa và do vậy, sẽ không thể chống đỡ sự tấn công từ phía Pháp và Phổ.

Năm 1858, Friedrich Wilhelm IV bị một cơn đột quỵ khiến ông tê liệt thần kinh. Em trai ông, Wilhelm I lên ngôi nhiếp chính ở Phổ. Lúc đầu, Wilhelm I có xu hướng ôn hòa. Ông duy trì quan hệ hữu hảo với những người Anh theo chủ nghĩa tự do và đã cho con trai của ông (người trong tương lai sẽ là vua Friedrich III) cưới Vicky, con gái lớn của nữ hoàng Victoria. Con trai của cặp vợ chồng Anh - Đức (sau này sẽ là vua Wilhelm II) ra đời vào năm 1859. Sự cầm quyền của Wilhelm I đã dẫn tới việc có mặt một số bộ trưởng theo trường phái ôn hòa trong nội các.

Tân nhiếp chính vương rút Bismarck khỏi đoàn đại biểu ở Frankfurt và chuyển ông đến làm đại sứ cho Phổ ở đế quốc Nga. Về hình thức, đó là một sự thăng tiến đáng kể với Bismarck bởi Nga là một trong hai nước láng giềng hùng mạnh nhất của Phổ (nước kia là Áo), nhưng trên thực tế, Bismarck bị loại ra khỏi đời sống chính trị ở Đức. Hơn thế nữa, nhiếp chính vương còn từ chối không thăng Bismarck lên cấp thiếu tướng, vốn là cấp bậc bình thường với các đại sứ ở Sankt-Peterburg, bởi lẽ Phổ và Nga là những đồng minh quân sự thân thiết mà những người đứng đầu nhà nước thường liên lạc với nhau qua kênh quân sự, thay vì các kênh ngoại giao. Bismarck ở Sankt-Peterburg được bốn năm, nơi suýt nữa thì ông bị cưa chân do điều trị sai và gặp lại kình địch của ông sau này, Công tước Gorchakov, người đại diện cho Nga ở Frankfurt vào đầu những năm 1850. Cũng trong giai đoạn này, nhiếp chính vương chỉ định Helmuth von Moltke làm tham mưu trưởng quân đội Phổ và Albrecht von Roon làm bộ trưởng bộ chiến tranh. Cùng với Bismarck, hai người này sẽ làm thay đổi hoàn toàn nước Phổ trong 12 năm tiếp theo.

Mặc dù ở nước ngoài trong một thời gian dài, Bismarck không hoàn toàn bị loại khỏi các sự vụ chính trị trong nội bộ nước Đức. Ông vẫn được thông tin đầy đủ nhờ vào tình bạn với Roon và họ sẽ cùng nhau thành lập một liên minh chính trị bền vững. Tháng 6 năm 1862, Bismarck được chuyển tới Paris để làm đại sứ tại Pháp. Ông cũng có chuyến thăm Anh mùa Hè năm đó và đã gặp những nhân vật nổi tiếng trên chính trường thời bấy giờ, sau này sẽ có người trở thành đối thủ của ông, bao gồm hoàng đế Napoléon III của Pháp, Thủ tướng Anh Henry John Temple, Ngoại trưởng Anh John Russell và chính trị gia của Đảng bảo thủ Anh Benjamin Disraeli, người sau này sẽ nắm chức vụ thủ tướng trong những năm 1870.